Crowd in C[loud] : Audience Participation Music with Online Dating Metaphor using Cloud Service

Presented at the 2nd Web Audio Conference (WAC), April 4-6, 2016, Atlanta, Georgia.In this paper, we introduce Crowd in C[loud], a networked music piece designed for audience participation at a music concert. We developed a networked musical instrument for the web browser where a casual smartphone user can play music as well as interact with other audience members. A participant composes a short tune with five notes and serving as a personal profile picture of each individual through- out the piece. The notion of musical profiles is used to form a social network that mimics an online-dating website. People browse the profiles of others, choose someone they like, and initiate interaction online and offline. We utilize a cloud service that helps build, without a server-side programming, a large-scale networked music ensemble on the web. This paper introduces the design choices for this distributed musical instrument. It describes details on how the crowd is orchestrated through the cloud service. We discuss how it facilitates mingling with one another. Finally we show how live coding is incorporated while maintaining the coherence of the piece. From rehearsal to actual performance, the crowd takes part in the process of producing the piece

Open band: Audience Creative Participation Using Web Audio Synthesis

This work investigates a web-based open environment enabling collaborative music experiences. We propose an artifact, Open Band, which enables collective sound dialogues in a web “agora”, blurring the limits between audience and performers. The systems relies on a multi-user chat system where textual inputs are translated to sounds. We depart from individual music playing experiences in favor of creative participation in networked music making. A previous implementation associated typed letters to pre-composed samples. We present and discuss in this paper a novel instance of our system which operates using Web Audio synthesis

Tecnologias móveis para interação musical

Mobile music applications are becoming commonplace around the world, and mobile devices are used as digital instruments everywhere. Controlling, performing, or composing music in real time with these devices encourages collaboration and interaction, as telecommunication improvements allow many people to cooperate through local networks or the Internet. In this context, the aim of this thesis is to evaluate mobile technologies that might be suitable for mobile musicians and their audiences while performing or composing. Specifically, the main goal is to explore technologies for collaborative mobile music and to obtain quantitative and qualitative data regarding these technologies and their settings, so that composers might take full advantage of the available options for mobile applications. This evaluation focuses on message exchange using Multicast, Unicast, and Cloud Services, using academic networks as the main pathway. With these services, messages are organized as packet streams, characterized by different sizes and time intervals. Evaluation also includes the development of several applications that make use of these technologies running on Android devices and web browsers. These applications were used in actual performances, serving as both evaluation tools and experimental music instruments. The results were analyzed in terms of round trip time and data loss under very different configuration scenarios, demonstrating that although some obvious impediments are unavoidable (e.g. significant delays in international settings), it is possible to choose the specific technology and achieve interesting results under most music application scenarios. I argue that although in theory Multicast appears to be the best technology to use by far, it is the most difficult to implement due to the burden of configuring every step of the network pathway. On the other hand, Cloud Services are certainly slower than direct connections, but are the most compatible and easiest technology to set up, and are definitely suitable for many collaborative music experiences. To conclude, there is a discussion of how mobile music practitioners can take advantage of these results for composition and performance by considering specific technological advantages or drawbacks that are inherent to each technology and setting.Aplicações de Música Móvel estão se tornando populares ao redor do mundo e dispositivos móveis estão sendo utilizados como instrumentos musicais em diversos lugares. Controlar, apresentar ou compor música em tempo real com estes dispositivos estimula a colaboração e a interação, e os avanços nas telecomunicações permitem a um grande número de pessoas cooperar musicalmente através de redes locais ou da Internet. Neste contexto, o objetivo desta tese é avaliar as tecnologias móveis que podem ser úteis para músicos e público na performance ou na composição. De maneira mais específica, o objetivo principal é explorar as tecnologias para Música Móvel colaborativa e obter resultados quantitativos e qualitativos referentes a estas tecnologias e suas configurações, de modo que compositores possam usufruir de todas as vantagens das opções para aplicações móveis. Esta avaliação enfoca a troca de mensagens através de Multicast, Unicast e Serviços em Nuvem utilizando redes de computadores acadêmicas como principal caminho. Através destes serviços as mensagens foram organizadas como fluxos de pacotes caracterizados por diversos tamanhos e intervalos entre envios. A avaliação também inclui o desenvolvimento de diversas aplicações fazendo uso destas tecnologias para dispositivos Android e navegadores Web, que foram utilizados em performances reais, servindo tanto como ferramentas de avaliação quanto como instrumentos para música experimental. Os dados são analisados com relação ao tempo de ida-e-volta e perda de pacotes em diferentes configurações de cenário, demonstrando que apesar de alguns impedimentos óbvios serem incontornáveis (como o longo atraso em configurações internacionais, por exemplo), é possível escolher tecnologias adequadamente e alcançar resultados interessantes em muitos cenários de aplicações musicais. Argumento que apesar de em teoria o Multicast se apresentar de longe como a melhor tecnologia para estes cenários, ele é o mais difícil de ser implementado devido à grande complexidade na configuração de cada parte da rede para seu uso. Por outro lado, Serviços em Nuvem são certamente mais lentos, porém se apresentam como os mais compatíveis e fáceis de configurar, sendo definitivamente os mais adequados para muitas experiências de música colaborativa. Em conclusão, discuto como profissionais de Música Móvel podem se aproveitar dos resultados apresentados, considerando as vantagens e desvantagens tecnológicas específicas que são inerentes a cada tecnologia ou configuração quando utilizada em performances e composições musicais

Tecnologias móveis para interação musical

Mobile music applications are becoming commonplace around the world, and mobile devices are used as digital instruments everywhere. Controlling, performing, or composing music in real time with these devices encourages collaboration and interaction, as telecommunication improvements allow many people to cooperate through local networks or the Internet. In this context, the aim of this thesis is to evaluate mobile technologies that might be suitable for mobile musicians and their audiences while performing or composing. Specifically, the main goal is to explore technologies for collaborative mobile music and to obtain quantitative and qualitative data regarding these technologies and their settings, so that composers might take full advantage of the available options for mobile applications. This evaluation focuses on message exchange using Multicast, Unicast, and Cloud Services, using academic networks as the main pathway. With these services, messages are organized as packet streams, characterized by different sizes and time intervals. Evaluation also includes the development of several applications that make use of these technologies running on Android devices and web browsers. These applications were used in actual performances, serving as both evaluation tools and experimental music instruments. The results were analyzed in terms of round trip time and data loss under very different configuration scenarios, demonstrating that although some obvious impediments are unavoidable (e.g. significant delays in international settings), it is possible to choose the specific technology and achieve interesting results under most music application scenarios. I argue that although in theory Multicast appears to be the best technology to use by far, it is the most difficult to implement due to the burden of configuring every step of the network pathway. On the other hand, Cloud Services are certainly slower than direct connections, but are the most compatible and easiest technology to set up, and are definitely suitable for many collaborative music experiences. To conclude, there is a discussion of how mobile music practitioners can take advantage of these results for composition and performance by considering specific technological advantages or drawbacks that are inherent to each technology and setting.Aplicações de Música Móvel estão se tornando populares ao redor do mundo e dispositivos móveis estão sendo utilizados como instrumentos musicais em diversos lugares. Controlar, apresentar ou compor música em tempo real com estes dispositivos estimula a colaboração e a interação, e os avanços nas telecomunicações permitem a um grande número de pessoas cooperar musicalmente através de redes locais ou da Internet. Neste contexto, o objetivo desta tese é avaliar as tecnologias móveis que podem ser úteis para músicos e público na performance ou na composição. De maneira mais específica, o objetivo principal é explorar as tecnologias para Música Móvel colaborativa e obter resultados quantitativos e qualitativos referentes a estas tecnologias e suas configurações, de modo que compositores possam usufruir de todas as vantagens das opções para aplicações móveis. Esta avaliação enfoca a troca de mensagens através de Multicast, Unicast e Serviços em Nuvem utilizando redes de computadores acadêmicas como principal caminho. Através destes serviços as mensagens foram organizadas como fluxos de pacotes caracterizados por diversos tamanhos e intervalos entre envios. A avaliação também inclui o desenvolvimento de diversas aplicações fazendo uso destas tecnologias para dispositivos Android e navegadores Web, que foram utilizados em performances reais, servindo tanto como ferramentas de avaliação quanto como instrumentos para música experimental. Os dados são analisados com relação ao tempo de ida-e-volta e perda de pacotes em diferentes configurações de cenário, demonstrando que apesar de alguns impedimentos óbvios serem incontornáveis (como o longo atraso em configurações internacionais, por exemplo), é possível escolher tecnologias adequadamente e alcançar resultados interessantes em muitos cenários de aplicações musicais. Argumento que apesar de em teoria o Multicast se apresentar de longe como a melhor tecnologia para estes cenários, ele é o mais difícil de ser implementado devido à grande complexidade na configuração de cada parte da rede para seu uso. Por outro lado, Serviços em Nuvem são certamente mais lentos, porém se apresentam como os mais compatíveis e fáceis de configurar, sendo definitivamente os mais adequados para muitas experiências de música colaborativa. Em conclusão, discuto como profissionais de Música Móvel podem se aproveitar dos resultados apresentados, considerando as vantagens e desvantagens tecnológicas específicas que são inerentes a cada tecnologia ou configuração quando utilizada em performances e composições musicais

Crowd in C[loud]

Presented at the 2nd Web Audio Conference (WAC), April 4-6, 2016, Atlanta, Georgia.Crowd in C[loud] is an audience participation music piece played on a distributed musical instrument. Inspired by Terry Riley's “In C”, audience members play a short tunes composed by themselves on their smartphones. The collective outcome of the ensemble creates a heterophonic texture of chance, largely in C chord. The instrument mimics an online dating website in which a user browses personal profiles, likes someone, and mingle with other online users. Participants are guided to play music together and to interact with other audience members in this temporary social network. A performer can actively progress the music by orchestrating the crowd by live coding on the console of the web browser

Análise de padrões musicais rítmicos e melódicos utilizando o algoritmo de predição por correspondência parcial

The development of Information Theory allowed various forms of data processing that are relevant to any area of science today. Among them, we have the characterization of the self-information, where we have the possibility to determine the information given in favor of a future analysis, and, from this point, the probability of an element in a given context is to be evaluated under the entropy analysis. By this concept, various models of compressors were developed based on prediction, and the Prediction by Partial Matching algorithm (PPM) has results closest to the maximum entropy of a given input with context dependence. The PPM performs prediction by partial correlation between the elements, allowing for pattern recognition and is used in several areas. The aim of this work is the efficiency evaluation of the use of PPM in symbolic audio files in order to be used in pattern recognition over the melodic and rhythmic patterns of melodies. The tests were conducted using melodies on MIDI files, creating models from the melodic and rhythmic parts, evaluating the efficiency of the models through cross-validation. The results obtained with the first tests carried out on works for solo violin have been meant as possibility ways to use. There was an average hit rate of 80%, even without considering all the important concepts of Music Theory. With these results, we carried out a test of similarity of melodies, 30 melodies were sought through a bank of 5223 files with great significant results. The analysis of melodies with certain concepts using the PPM confirms the PPM as a versatile algorithm for pattern recognition in melodic sequences, considering the modeling of valid input data used in this work.Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorO desenvolvimento da Teoria da Informação possibilitou formas diversas de tratamento de dados que são relevantes para qualquer área científica atualmente. Dentre elas, temos a caracterização da auto-informação, onde temos a possibilidade de determinar a informação contida em um dado em prol de futuras análises e, a partir deste ponto, a probabilidade de ocorrência de um elemento num determinado contexto tem como ser avaliada em virtude da análise da entropia. Em consequência disso, modelos de compressores foram desenvolvidos baseando-se em predição, e o algoritmo de Predição por Correspondência Parcial (Prediction by Partial Matching - PPM) foi o que mais se destacou por se aproximar ao máximo da entropia de uma entrada qualquer com dependência de contextos. O PPM realiza predição por correspondência parcial entre elementos em um determinando contexto, permitindo o reconhecimento de padrões e é utilizado em diversas áreas. Neste trabalho, a problemática vem da avaliação da eficiência da utilização do PPM em arquivos de áudio com o intuito de utilizá-lo no reconhecimento de padrões melódicos e rítmicos em melodias. Os testes foram realizados utilizando melodias no formato MIDI, criando os modelos a partir das articulações melódicas e rítmicas separadamente, modelando os dados a partir da variação entre as alturas das notas das melodias e também considerando as proporções entre as durações das notas. A avaliação da eficiência dos modelos foi realizada através de Validação Cruzada a fim de verificar as melhores características da modelagem. Os resultados obtidos com os primeiros testes realizados com obras para violino solo serviram para se ter um domínio das possíveis maneiras de utilização. Houve uma taxa de acerto médio de 80%, mesmo sem considerar todos os conceitos importantes da Teoria Musical. Com estes resultados, realizou-se um teste de similaridade de melodias, buscando 30 melodias num banco de 5223 arquivos obtendo ótimos resultados. A análise de melodias com o PPM utilizando os conceitos determinados confirma o PPM como um algoritmo versátil para reconhecimento de padrões em sequências melódicas, considerando válida a modelagem dos dados de entrada utilizada neste trabalho

Sensors2PD: Mobile Sensors and WiFi Information as Input for Pure Data

(Abstract to follow